\subsubsection{ICLR}
\begin{itemize}
    \item \citet{cai2022network}提出了\textit{NetAug方法}，优化了\textit{小型设备的小神经网络训练效果}。
    \item \citet{lou2022dictformer}提出了\textit{DictFormer轻量级Transformer模型压缩方法}，优化了\textit{移动设备上的实时自然语言处理应用}。
\end{itemize}

论文详细分析如下：
\begin{itemize}
    \item \textbf{论文标题}：Network Augmentation for Tiny Deep Learning
    \item \textbf{研究问题}：在资源受限的环境下运行的小型设备的小神经网络的训练效果通常不如大型神经网络，表现在现有的正则化技术（如数据增强和dropout）的运行效果远远达不到拟合
    \item \textbf{方法与技术}：作者提出了NetAug方法，通过增加宽度的方式来构建大模型，然后从中选择子网络作为辅助监督来帮助小神经网络学习更有用的特征表示。
    在训练过程中，NetAug只使用一个辅助监督网络来进行额外的前向和反向传播计算，以避免训练成本过高。
    \item \textbf{主要贡献}：NetAug只需要共享权重的大模型，因此可以大大减少内存占用和训练时间，因此可以考虑应用到小型设备，
    此外，NetAug还可以应用于已经设计好的神经网络架构上，进一步提高其性能。而且该文的实验验证了MobileNetV2-Tiny证明其能应用于微型设备
    \item \textbf{不足与未来方向}：未来研究可以进一步探索如何优化NetAug的参数设置，以获得更好的性能提升效果。此外，也可以考虑将NetAug应用于其他类型的深度学习任务，如自然语言处理等
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：DictFormer: Tiny Transformer with Shared Dictionary
    \item \textbf{研究问题}：传统Transformer模型在移动设备等资源受限环境下，模型参数和计算量任务大，传统的重量共享方法和轻量化方法都没有有效的解决这个问题
    \item \textbf{方法与技术}：结合现有的重量共享方法和轻量化方法，作者提出了名为DictFormer的轻量级的Transformer模型压缩方法，将注意力和FFN中的权重分别表示为共享字典和少量非零系数的乘积形式，
    并利用这些共享字典和系数来进行矩阵乘法运算，从而实现了高效的计算。
    \item \textbf{主要贡献}：实验表明，DictFormer在多个任务上将模型大小减少了3.6倍到8.9倍，与Transformer相比
    \item \textbf{不足与未来方向}：虽然训练字典和系数并不容易的事情，但是存储和使用相较于传统的压缩方法，在保持较高准确率的同时，能够显著压缩模型大小并减少计算量，
    因此可以在移动设备和物联网设备上实现真正的实时自然语言处理应用。未来，DictFormer可以通过进一步优化字典共享和未共享线性投影系数的方法来提高性能
\end{itemize}

\subsubsection{DAC}
\begin{itemize}
    \item \citet{li2024Spark}提出了\textit{SPARK混合加速架构}，优化了\textit{TinyML学习性能和内存访问带来的性能损耗}。
\end{itemize}

\begin{itemize}
    \item \textbf{论文标题}：SPARK: An Efficient Hybrid Acceleration Architecture with Run-Time Sparsity-Aware Scheduling for TinyML Learning
    \item \textbf{研究问题}：当前大多数TinyML设备仅专注于推理，因为训练需要更多硬件资源。本文研究如何设计一种高效的TinyML学习加速架构（硬件方面），在有限硬件资源条件下支持设备端训练，同时提高硬件利用率和减少内存访问的问题。
    \item \textbf{方法与技术}：SPARK架构通过在CPU流水线中集成专门的加速单元，实现了前向和反向传播的同时处理；结合稀疏感知的动态工作负载调度器，优化了对稀疏数据的处理效率；
    并且，通过构建支持数据转置访问的统一内存系统，减少了内存访问次数和数据传输开销。
    \item \textbf{主要贡献}：相较于基线加速器，平均性能提升4.1倍，且仅增加2.27\%的面积开销。在性能方面，SPARK比现成的边缘设备高出9.4倍，效率提高446.0倍.
    \item \textbf{不足与未来方向}：研究如何进一步提升架构在不同硬件环境下的可扩展性，适配更多类型的硬件资源；还可结合新兴技术，如更先进的稀疏性检测算法或新型内存管理技术，进一步提升系统整体性能。。
\end{itemize}
